Невидимые правители. Люди, которые превращают ложь в реальность - Renee DiResta

теории заговора, таких как сообщества псевдонауки, посвященные вакцинам и химтрейлам. 37. К началу 2018 года он начал предлагать группы QAnon, задолго до того, как QAnon (или "Удивительная Полли") стала предметом широкого освещения в СМИ, что помогло зарождающейся периферийной теории перерасти в омниконспирологию, сингулярность, в которой всевозможные теории заговора слились воедино и привлекли гораздо больше приверженцев, чем любая их составная часть. 38 Система рекомендаций работала как нечто вроде матрицы корреляции теорий заговора: Вы цените контент о плоской Земле и верите, что НАСА вам лжет, поэтому вам обязательно стоит заглянуть вот к этим людям, которые верят, что педофилы пьют кровь детей в пиццерии, а Джон Кеннеди-младший вернулся. Это непредвиденное последствие сохраняется годами и проявляется во многих темах; в мае 2023 года моя команда в Стэнфордской интернет-обсерватории обнаружила, что следование за одним аккаунтом в сети эксплуатации детей в Instagram приводит к предложениям о других. 39 Люди, ищущие этот вид крайне незаконного и очень вредного контента, были связаны друг с другом не только ключевыми словами или реальными отношениями, но и рекомендательной системой, которая интуитивно поняла, что у них есть общие интересы.

Алгоритм коллаборативной фильтрации делал именно то, для чего он был создан: предлагал контент или сообщества людям, которые, вероятно, будут заинтересованы в них из-за некоторого сходства с другими людьми (в случае с матрицей корреляции заговоров, возможно, общего недоверия к правительству). В значительной степени эти алгоритмы отражают существующие человеческие предпочтения: птицы, схожие по перу, собираются вместе. И действительно, PYMK и другие рекомендательные алгоритмы, объединяющие людей в сети, часто создают сообщества очень похожих пользователей (сети с высокой гомофилией), что вызвало обеспокоенность по поводу эхо-камер.

Однако некоторые из этих крайних случаев выходили за рамки эхо-камер: рекомендательные системы толкали людей в сообщества, которые были пограничными, если не прямо вредными. К концу 2018 года QAnon уже был, по сути, децентрализованной сектой, 40 связанной с несколькими случаями насилия, а также с достаточным количеством историй ужасных последствий для семей, чтобы создать специальную группу поддержки (под названием "QAnonCasualties"). 41 В нескольких случаях в группах против вакцин, продвигаемых алгоритмом, наблюдалась смерть детей после того, как заблуждающиеся родители игнорировали здравые медицинские советы в пользу предложений от коллег. Одна мать из группы "Остановить обязательную вакцинацию" ( ), рекомендованной алгоритмом, решила отказаться от тамифлю после того, как члены группы предостерегли ее от лечения, предлагаемого "Большой Фармой", и посоветовали попробовать бузину или грудное молоко, или положить лук в носки сына вместо этого. Позже он умер от гриппа. 42 Еще одна участница отказалась от прививки с витамином К, которая предотвращает кровоизлияния в мозг новорожденных, опасаясь, что это вакцина с токсичными ингредиентами - заблуждение, широко распространенное в группе. В то время поисковые системы также выдавали антивакцинальные блоги в ответ на запрос "прививка с витамином К". 43 Алгоритмы работают с тем, что у них есть.

Хотя некоторые ученые, журналисты и активисты (как и я в то время) писали об этих ситуациях и призывали переосмыслить этику рекомендательных систем, платформы в основном избегали действий, хотя внутри себя они тайно начинали испытывать некоторые опасения. В 2016 году внутреннее исследование Facebook показало, что 64 процента людей, вступивших в экстремальную группу, сделали это по рекомендации и что эти группы, как выразился Джефф Хорвиц из Wall Street Journal, "непропорционально сильно подвержены влиянию подгруппы гиперактивных пользователей". 44 Летом 2019 года внутренние исследовательские группы Facebook создали персональный аккаунт - политически консервативную мать по имени Кэрол - и обнаружили, что в течение двух дней ее тоже стали подталкивать в группы, посвященные QAnon. 45 В общем и целом, именно так люди вроде Полли и ее аудитории связывались друг с другом, как росло сообщество и как его авторитеты становились центрами притяжения для большого количества людей. И все же руководство Facebook в значительной степени проигнорировало свои собственные выводы.

К 2020 году опасения стали слишком масштабными, чтобы их игнорировать. В октябре того же года, накануне президентских выборов в США, Facebook отключил рекомендации групп по всем политическим и социальным вопросам 46 , а также запретил страницы и группы QAnon. 47 Однако, хотя платформа в конце концов отмодерировала, группы просто собрались в другом месте; к этому моменту связи в социальных сетях уже были установлены, мировоззрения сформированы, дружеские отношения и фэндомы укрепились. Людей годами подталкивали к сообществам любителей теорий заговора, отправляя их в кроличьи норы, ведущие к полномасштабным заказным реалиям. И, как говорит специалист по технологической этике Л. М. Сакасас, "миры, в которых мы сейчас живем, - это оцифрованные царства, неспособные по своей природе и дизайну генерировать широко распространенный опыт реальности. Об этом можно сетовать, если есть желание, но это невозможно исправить". 48

Алгоритмы формируют не только то, кого мы знаем, но и то, что мы видим. Побудив нас вступать в группы и следить за людьми, алгоритмы курирования и ранжирования ленты выбирают среди этих (и подобных им) аккаунтов тот, который попадает в поле нашего зрения. 49

Когда социальные сети превратили всех в создателей контента, платформы столкнулись с проблемой переизбытка контента. В ранних социальных сетях в основном использовалась обратная хронологическая лента, в которой самое последнее сообщение находилось вверху. Алгоритмы ранжирования и курирования вместо этого фильтровали и сортировали контент, пытаясь определить, что будет наиболее интересным, создавая персонализированный контент для каждого конкретного пользователя. Эти системы курации начинают с инвентаризации всего возможного контента на платформе, доступного для просмотра пользователем, - часто это посты влиятельных лиц, за которыми он следит, групп, в которых он состоит, или контент, похожий на любой из них. 50 Затем они удаляют "пограничный" (проблемный) контент 51 - то, что противоречит политике модерации платформы и не подлежит курации (а иногда и монетизации); это называется дебустированием, понижением рейтинга или демонизацией. Из оставшихся постов алгоритм курирования выбирает подмножество постов-"кандидатов" с высокой вероятностью релевантности для целевого пользователя и затем ранжирует их. В процессе ранжирования платформа определяет, какие из релевантных постов вы с наибольшей вероятностью будете воспринимать, сохраняя вашу заинтересованность, присутствие на сайте и возможность видеть рекламу. 52

Алгоритмы курирования имеют решающее значение для бизнеса платформы и средств к существованию влиятельных лиц. Лента Facebook, временная шкала "Для вас" в Twitter и правая колонка эскизов видео на YouTube - все они стремятся выбрать именно те посты, которые помогут удержать конкретного пользователя на сайте. 53 Действительно, в одном из самых быстрорастущих социальных приложений 2020-х годов - TikTok - страница "Для вас" (FYP) отошла от курирования на основе социальных графов пользователей и